PDMR: Passage-Driven Multi-ID Document Retrieval
段落驱动的多标识符文档检索
🧭 生成式文档检索 · 多 passage ID ★ 深度解读
Institut de Recherche en Informatique de Toulouse (IRIT)
用多个 passage 级标识符替代单一文档 ID,结合多目标训练与 query-段落对齐,提升生成式文档检索的 R@1 与 MRR
📌 工作参考价值(4 点)
- 在电商/内容生成式检索或推荐中,不要为长详情页/多卖点商品只建一个 Semantic ID;可先做段落/卖点切分,为每个语义单元建“文档/商品标题+段落标题”式层级 ID,提供多个生成入口,用 max 概率聚合回父级 item。
- 多目标加权损失可落地:当 query 命中商品多个属性/卖点时,给最相关属性(如 BM25 最高分卖点)更高权重(如 0.6),其余均分,避免单一监督信号过强。若类目内容同质,可尝试 all-passages 标签;内容异构大时用 best-passage。
- 原始训练 query 增强很关键:仅用合成 query 会弱化真实 query 分布;可将真实 query 通过 BM25 对齐到最佳段落,或根据数据均匀度选择 all passages,能带来显著 R@1 提升。
- 标识符顺序有讲究:Doc→Pass 前缀结构更适合 autoregressive 解码,能先缩小到正确文档再选段,可复用到层级式 ID 设计中。